YARN

[Hadoop] 分布式资源调度YARN 一

YARN产生背景、YARN概述、YARN架构、Yarn 基本思想、Yarn 计算资源抽象

Posted by 李玉坤 on 2017-06-28

YARN产生背景

  1. MapReduce1.x存在的问题:单点故障&节点压力大不易扩展，如下图：
  • 单点故障：整个集群里只有一个JobTracker，一旦挂掉，整个架构就无法完成作业运行
  • 节点压力大不易扩展：JobTracker要来自TaskTracker的rpc请求（心跳）和client的提交查询请求；随着集群的扩展，当集群越来越大的时候TaskTracker就会成为一个瓶颈不易扩展，压力很大
    • 每个Slave机器可运行的最大Map tasks数量和Reduce tasks数量固定
  • 不能够支持除了mapreduce意外的框架：JobTracker承载的任务比较多；整个架构只能支持mapreduce作业，不支持storm，spark作业。
    • 难以共享集群资源
    • Spark Strom Impala


（MapReduce：Master/Slave架构，1个JobTracker带多个TaskTracker）

  • JobTracker： 负责资源管理和作业调度，任务分配
  • TaskTracker：定期向JT汇报本节点的健康状况、资源使用情况、作业执行情况；接收来自JT的命令：启动任务/杀死任务

在mapreduce1.X中；资源叫slot；每台节点只有获取到了slot才可以启动多少个map和多少个reduce；不能够指定cpu资源；启动后也不可更改资源。比较粗糙；难以共享集群资源。

MapReduce V1 执行job流程

  1. 催生了YARN的诞生

    YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度
    XXX on YARN的好处：（XXX: Spark/MapReduce/Storm/Flink）
    与其他计算框架共享集群资源，按资源需要分配，进而提高集群资源的利用率

YARN概述

  • 从Hadoop 2.0开始出现了Yarn
  • Yet Another Resource Negotiator （另一个种资源协调者）
  • 通用的资源管理系统
    • 为上层应用提供统一的资源管理和调度 hive spark 等

ResurceManager(RM)：

RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理和分配，包括处理客户端请求、启动/监控Applications master、监控nodemanager、资源的分配与调度。

它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

  • 调度器
    • 调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。此外，该调度器是一个可插拔的组件，用户可根据自己的需要设计新的调度器，YARN提供了多种直接可用的调度器，比如Fair Scheduler和Capacity Scheduler等。
  • 应用程序管理器
    • 应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。

YARN架构


YARN架构：

  1. ResourceManager: RM（通常会另外部署一个standby来解决单点故障）
    • 一个集群只有一个，全局的资源管理器
    • 处理客户端的请求： 提交一个作业、杀死一个作业
    • 监控Node Manger，汇总上报的资源
    • 根据请求分配资源
  2. NodeManager: NM
    • 每个从属节点一个
      • 管理自身所属节点的资源
      • 监控资源使用情况（cpu, memory, disk,network)并向Resource Manager汇报
      • 接收并处理来自RM的各种命令：启动Container
    • 处理来自AM的命令
    • 单个节点的资源管理
  3. ApplicationMaster: AM
    • 每个应用程序对应一个：MR、Spark，负责应用程序的管理
    • 为应用程序向RM申请资源（core、memory），分配给内部task
    • 需要与NM通信：启动/停止task，task是运行在container里面，AM也是运行在container里面
  4. Container
    • 封装了CPU、Memory等资源的一个容器
    • 是一个任务运行环境的抽象
  5. Client
    • 提交作业
    • 查询作业的运行进度
    • 杀死作业

通常NodeManager会和DataNode混合部署，why?
可以从内存、cpu、磁盘的使用来讲。

Yarn 基本思想

  • 在MapReduce V1中
    • JobTracker = 资源管理器 + 任务调度器
  • 在Yarn中做了切分
    • 资源管理
      • 让ResourceManager负责
    • 任务调度
      • 让ApplicationMaster负责
        • 每个作业启动一个
        • 根据作业切分任务tasks
        • 向Resource Manager申请资源
        • 与NodeManager协作，将分配申请到的资源给内部任务tasks
        • 监控tasks运行情况，重启失败的任务
  • JobHistoryServer
    • 每个集群每种计算框架一个
    • 负责搜集归档所有的日志

Yarn 计算资源抽象

  • 在Yarn中，计算资源被抽象为Container
  • 每个Container描述：
    • 可使用的CPU资源和内存资源
    • 执行命令
    • 环境变量
    • 外部资源
  • 如何获得运行各个任务的Container?
    • 由ApplicationMaster向ResourceManager申请
    • ApplicationMaster本身也运行在一个Container，这个Container由ResourceManager向自身申请启动
  • 如何启动运行？
    • 向Container所属的Node Manager发起运行


上图中一个core并不代表一个cpu；它是衡量cpu计算能力的一个单位；比如早期的物理机cpu计算能力差就按照1：1来算core，一个cpu相当于一个core；而后期新买的物理机计算能力强1：2来算core，一个cpu相当于两个core。




FEATURED TAGS
YARN